Từ năm 1661 đến 1669, vùng lãnh thổ bị ảnh hưởng bởi "Thiên giới lệnh", được ban bố bởi vua Khang Hi nhằm ngăn chặn tiếp tế cho quân phản Thanh Trịnh Thành Công ở Đài Loan, đòi hỏi phải sơ tán các khu dân cư ven biển của Quảng Đông. Khoảng 16.000 người từ huyện Tân An đã được ghi nhận đưa vào đất liền trong khi 1.648 người rời đi được cho là đã trở về khi cuộc di tản bị hủy bỏ vào năm 1669.[14] Điều đó biến Hồng Kông trở nên hoang vu trong phần lớn thời gian lệnh cấm.[15]

Người Khách Gia dần trở thành nhóm thống trị vùng lãnh thổ,[10] ngày nay họ được hòa nhập vào chính các công trình xây dựng của Hồng Kông với nhiều ngôi làng truyền thống vẫn còn tồn tại ở khu Tân Giới. Họ là một nhóm nhỏ khác biệt với nền ẩm thực riêng biệt bao gồm nhiều món ăn truyền thống và nổi tiếng.

Henry Pottinger lên đường đến châu Á vào năm 1841 rồi trở thành Thống đốc đầu tiên của Hồng Kông dưới sự cai trị của Anh vào năm 1842, do đó chấm dứt sự thống trị của phong kiến Trung Quốc đối với Hồng Kông.